Scikit-Learn 패키지의 전처리 기능은 크게 다음과 같은 4가지이다. 이 기능들은 preprocessing 서브 패키지와 feature_extraction 서브 패키지에 구현되어 있다.
스케일링(Scaling): 자료의 크기 조정
scale, StandardScalernormalize, Normalizerminmax_scale, MinMaxScalermaxabs_scale, MaxAbsScalerrobust_scale, RobustScaler인코딩(Encoding): 카테고리 값의 정수 표현
binarize, Binarizerlabel_binarize, LabelBinarizerLabelEncoderOneHotEncoderDictVectorizerImputation: 결손 데이터(missing data) 처리
ImputerTransform: 데이터 변환
PolynomialFeaturesFunctionTransformer스케일링은 자료 집합에 적용되는 전처리 과정으로 모든 자료에 다음과 같은 선형 변환을 적용하여 전체 자료의 분포를 평균 0, 분산 1이 되도록 만드는 과정이다.
$$ x' = c_0 + c_1 x $$스케일링은 자료의 overflow나 underflow를 방지하고 독립 변수의 공분산 행렬의 condition number 를 감소시켜 최적화 과정에서의 안정성 및 수렴 속도를 향상시킨다. (중앙값은 아웃라이어에 영향을 잘 받지 않는다. 다만 평균은 많이 받는다.)
Scikit-Learn에서는 스케일링을 위한 함수와 클래스를 각각 제공한다. 스케일링 함수는 다음과 같다.
scale(X): 표준정상분포 Standard Normal Gaussian 기본 스케일robust_scale(X): median, interquartile range 사용. outlier 영향 최소화minmax_scale(X): 최대/최소값 사용maxabs_scale(X): 최대절대값 사용
In [12]:
from sklearn.preprocessing import scale, robust_scale, minmax_scale, maxabs_scale
x = (np.arange(10, dtype=np.float) - 3).reshape(-1, 1)
df = pd.DataFrame(np.hstack([x, scale(x), robust_scale(x), minmax_scale(x), maxabs_scale(x)]),
columns=["x", "scale(x)", "robust_scale(x)", "minmax_scale(x)", "maxabs_scale(x)"])
df
Out[12]:
In [10]:
print(scale(x).mean(axis=0)), print(scale(x).std())
Out[10]:
In [3]:
from sklearn.datasets import load_iris
iris = load_iris()
data1 = iris.data
data2 = scale(iris.data)
print("old mean:", np.mean(data1, axis=0))
print("old std:", np.std(data1, axis=0))
print("new mean:", np.mean(data2, axis=0))
print("new std:", np.std(data2, axis=0))
In [13]:
sns.jointplot(data1[:, 0], data1[:, 1])
plt.show()
In [14]:
sns.jointplot(data2[:, 0], data2[:, 1])
plt.show()
만약 추후에 파이프 라인을 이용하게 된다면 스케일링을 함수가 아닌 스케일러 클래스로 구현해야 한다.
Scaler 클래스의 사용 방법은 다음과 같다.
fit() 메서드와 트레이닝 데이터를 사용하여 변환 계수 추정transform() 메서드를 사용하여 실제로 자료를 변환또는 fit_transform() 메서드를 사용하여 계수 추정과 자료 변환을 동시에 실행할 수도 있다.
In [5]:
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
scaler.fit(data1)
data2 = scaler.transform(data1)
data1.std(), data2.std()
Out[5]:
(비디오 추천의 사례)
정규화(Normarlization)는 스케일링과 달리 개별 데이터의 크기를 모두 같게 만들기 위한 변환이다. 따라서 개별 데이터에 대해 서로 다른 변환 계수가 적용된다.
정규화는 다차원 독립 변수 벡터가 있을 때 각 벡터 원소들의 상대적 크기만 중요한 경우에 사용된다.
In [15]:
from sklearn.preprocessing import normalize
x = np.vstack([np.arange(5, dtype=float) - 20, np.arange(5, dtype=float) - 2]).T
y1 = scale(x)
y2 = normalize(x)
print("original x:\n", x)
print("scale:\n", y1)
print("norms (scale)\n", np.linalg.norm(y1, axis=1))
print("normlize:\n", y2)
print("norms (normalize)\n", np.linalg.norm(y2, axis=1))
In [18]:
from sklearn.datasets import load_iris
iris = load_iris()
data1 = iris.data[:,:2]
data2 = normalize(data1)
In [19]:
sns.jointplot(data1[:, 0], data1[:, 1])
plt.show()
In [20]:
sns.jointplot(data2[:, 0], data2[:, 1])
plt.show()
인코딩은 카테고리 값이나 텍스트 정보를 처리가 쉬운 정수로 변환하는 과정이다.
One-Hot-Encoder는 one-of-K 인코딩이라고도 불리며 K개의 값을 가지는 스칼라 값을 0 또는1 값을 가지는 K-차원 벡터로 변환한다.
만약 입력이 스칼라가 아니라 벡터이면 stack된 결과가 출력된다. 이 때는 feature_indices_ 를 사용하여 분리해야 한다.
또 입력이 벡터인 경우에 특정한 열(column)만 카테고리 값이면 categorical_features 인수를 사용하여 카테고리 열을 지정한다. 이 때 인코딩 결과는 순서가 바뀔 수 있으므로 주의한다.
fit 메서드를 호출하면 다음과 같은 속성이 지정된다.
n_values_ : 최대 클래스 수feature_indices_ : 입력이 벡터인 경우 각 원소를 나타내는 slice 정보active_features_ : 실제로 사용된 클래스들One-Hot-Encoding 결과는 메모리 절약을 위한 sparse matrix 형식으로 출력된다. 일반적인 배열로 바꾸려면 toarray 메서드를 사용한다.
In [21]:
from sklearn.preprocessing import OneHotEncoder
ohe = OneHotEncoder()
In [29]:
X = np.array([[0], [1], [5]])
X
Out[29]:
In [30]:
ohe.fit(X)
ohe.n_values_, ohe.feature_indices_, ohe.active_features_
Out[30]:
In [31]:
ohe.transform(X).toarray()
Out[31]:
In [40]:
X = np.array([[0, 0, 4], [1, 1, 0], [0, 2, 1], [1, 0, 2]])
X
Out[40]:
In [41]:
ohe.fit(X)
ohe.n_values_, ohe.feature_indices_, ohe.active_features_
Out[41]:
In [42]:
ohe.transform(X).toarray()
Out[42]:
In [46]:
ohe = OneHotEncoder(categorical_features=[False, True, False])
ohe.fit_transform(X).toarray()
Out[46]:
In [47]:
from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
le.fit([1, 2, 2, 6])
le.classes_
Out[47]:
In [48]:
le.transform([1, 1, 2, 6])
Out[48]:
In [49]:
le.inverse_transform([0, 0, 1, 2])
Out[49]:
In [50]:
le.fit(["paris", "paris", "tokyo", "amsterdam"])
le.classes_
Out[50]:
In [51]:
le.transform(["tokyo", "tokyo", "paris"])
Out[51]:
In [52]:
list(le.inverse_transform([2, 2, 1]))
Out[52]:
In [53]:
from sklearn.preprocessing import Binarizer
X = [[ 1., -1., 2.],
[ 2., 0., 0.],
[ 0., 1., -1.]]
binarizer = Binarizer().fit(X)
binarizer.transform(X)
Out[53]:
In [54]:
binarizer = Binarizer(threshold=1.1)
binarizer.transform(X)
Out[54]:
In [55]:
from sklearn.preprocessing import LabelBinarizer
lb = LabelBinarizer()
lb.fit([1, 2, 6, 1, 2])
Out[55]:
In [56]:
lb.classes_
Out[56]:
In [57]:
lb.transform([1, 6])
Out[57]:
In [60]:
lb.fit_transform(['yes', 'no', 'no', 'yes'])
Out[60]:
In [61]:
lb = LabelBinarizer(neg_label=-1)
lb.fit_transform(['yes', 'no', 'no', 'yes'])
Out[61]:
In [62]:
from sklearn.feature_extraction import DictVectorizer
v = DictVectorizer(sparse=False)
D = [{'foo': 1, 'bar': 2}, {'foo': 3, 'baz': 1}]
X = v.fit_transform(D)
X
Out[62]:
In [63]:
v.feature_names_
Out[63]:
In [64]:
v.inverse_transform(X)
Out[64]:
In [65]:
v.transform({'foo': 4, 'unseen_feature': 3})
Out[65]:
In [66]:
instances = [ {'city': 'New York'}, {'city': 'San Francisco'}, {'city': 'Chapel Hill'} ]
v.fit_transform(instances)
Out[66]:
In [67]:
v.feature_names_
Out[67]:
In [68]:
from sklearn.preprocessing import Imputer
imp = Imputer(missing_values='NaN', strategy='mean', axis=0)
imp.fit_transform([[1, 2], [np.nan, 3], [7, 6]])
Out[68]:
PolynomialFeatures 입력값 $x$를 다항식으로 변환한다.
$$ x \;\; \rightarrow \;\; [ 1, x, x^2, x^3, \cdots ] $$또는
$$ [x_1, x_2] \;\; \rightarrow \;\; [ 1, x_1, x_2, x_1 \cdot x_2 ] $$다음과 같은 입력 인수를 가진다.
degree : 차수interaction_only: 상호 작용 생성 여부include_bias : 상수항 생성 여부http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.PolynomialFeatures.html
In [69]:
from sklearn.preprocessing import PolynomialFeatures
X = np.arange(6).reshape(3, 2)
X
Out[69]:
In [70]:
poly = PolynomialFeatures(2)
poly.fit_transform(X)
Out[70]:
In [71]:
poly = PolynomialFeatures(interaction_only=True)
poly.fit_transform(X)
Out[71]:
In [72]:
from sklearn.preprocessing import FunctionTransformer
def all_but_first_column(X):
return X[:, 1:]
In [73]:
X = np.arange(12).reshape(4, 3)
X
Out[73]:
In [74]:
FunctionTransformer(all_but_first_column).fit_transform(X)
Out[74]: